Optimización de la factorización de matrices no negativas en Bioinformática

En los últimos años se ha incrementado el interés de la comunidad científica en la Factorización de matrices no negativas (Non-negative Matrix Factorization, NMF). Este método permite transformar un conjunto de datos de grandes dimensiones en una pequeña colección de elementos que poseen semántica propia en el contexto del análisis. En el caso de Bioinformática, NMF suele emplearse como base de algunos métodos de agrupamiento de datos, que emplean un modelo estadístico para determinar el número de clases más favorable. Este modelo requiere de una gran cantidad de ejecuciones de NMF con distintos parámetros de entrada, lo que representa una enorme carga de trabajo a nivel computacional. La mayoría de las implementaciones de NMF han ido quedando obsoletas ante el constante crecimiento de los datos que la comunidad científica busca analizar, bien sea porque los tiempos de cómputo llegan a alargarse hasta convertirse en inviables, o porque el tamaño de esos datos desborda los recursos del sistema. Por ello, esta tesis doctoral se centra en la optimización y paralelización de la factorización NMF, pero no solo a nivel teórico, sino con el objetivo de proporcionarle a la comunidad científica una nueva herramienta para el análisis de datos de origen biológico. NMF expone un alto grado de paralelismo a nivel de datos, de granularidad variable; mientras que los métodos de agrupamiento mencionados anteriormente presentan un paralelismo a nivel de cómputo, ya que las diversas instancias de NMF que se ejecutan son independientes. Por tanto, desde un punto de vista global, se plantea un modelo de optimización por capas donde se emplean diferentes tecnologías de alto rendimiento..

Ajuste del planificador de Linux para procesadores con "Hyper-Threading"

En este proyecto hemos abordado la sintonización del Kernel Linux para procesadores con tecnología Hyper-Threading, centrando nuestros esfuerzos en el diseñoo y desarrollo de un planificador de procesos simbiótico. Por software simbiótico entendemos aquél que es capaz de adaptarse dinámicamente para ajustar el escenario de ejecución con los requerimientosdel sistema (ahorro de consumo, rendimiento, calidad de servicio...). Para el desarrollo de dicho planificador, al que hemos bautizado con el acrónimo de HTAS, nos hemos basado en el uso de los contadores hardware de la arquitectura IA-32. Mediante dichos contadores hemos podido detectar situaciones en las que Hyper-Threading puede comprometer el rendimiento. Nos gustaría destacar que, aunque existen diversas propuestas basadas en estudios mediante simulación,no conocemos ninguna implementación de un planificador con estas características en sistemas reales [ABSTRACT] We have addressed in this project the tuning of the Linux Kernel in Hyper-Threading-enabled processors, focusing on the design and implementation of a symbiotic process scheduler. Symbiotic software is able to be dynamically adapted to match the execution scenario and the system policy (power saving, performance, quality of service...). The symbiotic scheduler developed in this project, which we have dubbed as HTAS, is based on the employment of the IA-32 hardware performance counters, which have help us to detect possible performance bottlenecks caused by Hyper-Threading. We would like to remark that, despite being proposed by some authors in simulation studies, to the best of our knowledge any similar scheduler has been yet implemented on real systems

NMF-mGPU: non-negative matrix factorization on multi-GPU systems

Background: In the last few years, the Non-negative Matrix Factorization (NMF) technique has gained a great interest among the Bioinformatics community, since it is able to extract interpretable parts from high-dimensional datasets. However, the computing time required to process large data matrices may become impractical, even for a parallel application running on a multiprocessors cluster. In this paper, we present NMF-mGPU, an efficient and easy-to-use implementation of the NMF algorithm that takes advantage of the high computing performance delivered by Graphics-Processing Units (GPUs). Driven by the ever-growing demands from the video-games industry, graphics cards usually provided in PCs and laptops have evolved from simple graphics-drawing platforms into high-performance programmable systems that can be used as coprocessors for linear-algebra operations. However, these devices may have a limited amount of on-board memory, which is not considered by other NMF implementations on GPU. Results: NMF-mGPU is based on CUDA (Compute Unified Device Architecture), the NVIDIA's framework for GPU computing. On devices with low memory available, large input matrices are blockwise transferred from the system's main memory to the GPU's memory, and processed accordingly. In addition, NMF-mGPU has been explicitly optimized for the different CUDA architectures. Finally, platforms with multiple GPUs can be synchronized through MPI (Message Passing Interface). In a four-GPU system, this implementation is about 120 times faster than a single conventional processor, and more than four times faster than a single GPU device (i.e., a super-linear speedup). Conclusions: Applications of GPUs in Bioinformatics are getting more and more attention due to their outstanding performance when compared to traditional processors. In addition, their relatively low price represents a highly cost-effective alternative to conventional clusters. In life sciences, this results in an excellent opportunity to facilitate the daily work of bioinformaticians that are trying to extract biological meaning out of hundreds of gigabytes of experimental information. NMF-mGPU can be used "out of the box" by researchers with little or no expertise in GPU programming in a variety of platforms, such as PCs, laptops, or high-end GPU clusters. NMF-mGPU is freely available at https://github.com/bioinfo-cnb/bionmf-gpu

Libro de Proyectos Finales 2021 primer semestre

PregradoIngeniero CivilIngeniero de SistemasIngeniero ElectricistaIngeniero ElectrónicoIngeniero IndustrialIngeniero Mecánic